Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings
Ovis-Embedding：全模态统一嵌入模型
🧭 多模态统一 Embedding 训练
Alibaba Token Hub, Alibaba Group
基于Qwen-omni的原生多模态统一embedding，在多个检索基准上达到SOTA
📌 工作参考价值（4 点）
- 复用大规模多模态LLM作为embedding backbone：直接对Qwen-omni做对比学习微调，而不是从零搭多塔，能以较低成本获得高质量统一表示。电商场景可类似地用商品图文视频数据微调多模态LLM，得到商品统一embedding用于跨模态召回。
- 同源采样构造任务一致batch：按数据来源/模态分组采样，让in-batch negatives更相关、更有信息量。在推荐/搜索的多行为、多内容源训练中，可以按用户行为类型或item类目分组，提升对比学习效率。
- focal loss强调难样本：对困难负例加大权重，适合处理点击/转化数据中的长尾和难区分样本，尤其适用于召回模型中难负例挖掘。
- 低秩特征分解灵活控制维度：一套模型可输出不同维度embedding，低维用于快速召回、高维用于精排，减少存储和计算成本，类似推荐系统里的多级向量索引设计。